从fMRI大脑记录中重建自然视频非常具有挑战性，这两个主要原因是：（i）由于fMRI数据获取很困难，我们只有有限的监督样本，这还不足以覆盖自然视频的巨大空间； （ii）fMRI记录的时间分辨率远低于自然视频的帧速率。在本文中，我们提出了一种自我监督的自然电影重建方法。通过对编码编码自然视频的编码使用周期矛盾，我们可以：（i）利用培训视频的完整帧速率，而不仅仅限于与fMRI录音相对应的剪辑； （ii）利用受试者在fMRI机器内从未见过的大量外部自然视频。这些使适用的培训数据通过几个数量级增加，将自然视频先验引入解码网络以及时间连贯性。我们的方法大大优于竞争方法，因为这些方法仅在有限的监督数据上训练。我们进一步介绍了自然视频的新的简单暂时性先验，当将其进一步折叠到我们的fMRI解码器中时 - 允许我们在原始fMRI样本率的X8的较高框架速率（HFR）中重建视频。
translated by 谷歌翻译